Language Models Need Sleep
语言模型也需要睡眠：离线递归巩固长时记忆以支持深层推理
🧭 序列模型记忆巩固 · 离线递归计算 ★ 深度解读
Carnegie Mellon University · University of Maryland
在SSM-Attention混合模型中引入离线递归更新快权重，将计算移出推理时，提升对已逐出上下文的深层推理能力
📌 工作参考价值（4 点）
- 离线递归巩固用户长序列行为：电商推荐中用户行为序列很长，可将sleep机制用于在上下文窗满时将历史行为压缩进SSM或fast weight记忆，并迭代更新几次后再清空KV缓存，后续预测只需单次前向，保证在线低延迟。
- Fast weight显式存储推理中间态：在生成式推荐（如Semantic ID序列）中，可将用户兴趣演化视为一种需要“深度计算”的推理过程，利用递归快权重更新逐步聚合信息，而非仅依赖固定深度的Encoder，这与当前多智体（Agent）记忆压缩的场景可类比。
- 递归深度可自适应难度：根据当前交互的复杂程度（如查询涉及的hop数）自动调节sleep的递归步数N，类似动态网络深度，简单场景用N=1快速响应，复杂推理场景用更大N保证精度。
- 训练时通过递归快权重反向传播：在离线训练时采用类似递推跨窗的梯度回传，避免全序列并行的高内存，可处理超长用户序列，与当前推荐系统流式训练架构兼容。